Self-supervised representation learning follows a paradigm of withholding some part of the data and tasking the network to predict it from the remaining part. Towards this end, masking has emerged as a generic and powerful tool where content is withheld along the sequential dimension, e.g., spatial in images, temporal in audio, and syntactic in language. In this paper, we explore the orthogonal channel dimension for generic data augmentation. The data for each channel is quantized through a non-uniform quantizer, with the quantized value sampled randomly within randomly sampled quantization bins. From another perspective, quantization is analogous to channel-wise masking, as it removes the information within each bin, but preserves the information across bins. We apply the randomized quantization in conjunction with sequential augmentations on self-supervised contrastive models. This generic approach achieves results on par with modality-specific augmentation on vision tasks, and state-of-the-art results on 3D point clouds as well as on audio. We also demonstrate this method to be applicable for augmenting intermediate embeddings in a deep neural network on the comprehensive DABS benchmark which is comprised of various data modalities. Code is availabel at http://www.github.com/microsoft/random_quantize.

Left-ventricular ejection fraction (LVEF) is an important indicator of heart failure. Existing methods for LVEF estimation from video require large amounts of annotated data to achieve high performance, e.g. using 10,030 labeled echocardiogram videos to achieve mean absolute error (MAE) of 4.10. Labeling these videos is time-consuming however and limits potential downstream applications to other heart diseases. This paper presents the first semi-supervised approach for LVEF prediction. Unlike general video prediction tasks, LVEF prediction is specifically related to changes in the left ventricle (LV) in echocardiogram videos. By incorporating knowledge learned from predicting LV segmentations into LVEF regression, we can provide additional context to the model for better predictions. To this end, we propose a novel Cyclical Self-Supervision (CSS) method for learning video-based LV segmentation, which is motivated by the observation that the heartbeat is a cyclical process with temporal repetition. Prediction masks from our segmentation model can then be used as additional input for LVEF regression to provide spatial context for the LV region. We also introduce teacher-student distillation to distill the information from LV segmentation masks into an end-to-end LVEF regression model that only requires video inputs. Results show our method outperforms alternative semi-supervised methods and can achieve MAE of 4.17, which is competitive with state-of-the-art supervised performance, using half the number of labels. Validation on an external dataset also shows improved generalization ability from using our method. Our code is available at https://github.com/xmed-lab/CSS-SemiVideo.

从经验上证明，捕获长期依赖性在各种计算机视觉任务上具有有效性。通过多头注意机制的帮助，通过使用变压器框架来实现这一主题的进步。但是，基于注意力的图像贴片相互作用可能遭受阶级内斑块的冗余相互作用和阶层间斑块的无方向相互作用的问题。在本文中，我们提出了一个新颖的图形推理变压器（Great），用于解析图像，以使图像贴片能够按照关系推理模式进行交互。具体而言，线性嵌入式图像贴片首先投影到图形空间中，其中每个节点代表一组图像贴片的隐式视觉中心，每个边缘都反映了两个相邻节点之间的关系权重。之后，全局关系推理相应地在此图上执行。最后，包括关系信息在内的所有节点都映射回原始空间以进行后续过程。与常规变压器相比，GREAT具有更高的交互效率和更有目的的交互模式。实验是在具有挑战性的城市景观和ADE20K数据集上进行的。结果表明，在最先进的变压器基线上，具有轻微的计算开销，可以实现一致的性能增长。

本文研究了几种皮肤疾病分类问题。基于至关重要的观察，即皮肤病图像通常存在于一类中的多个子群体（即，一类疾病中图像的外观变化并形成多个不同的子组），我们设计了一种新型的亚群集感知网络，即扫描，以提高准确性以稀有皮肤疾病诊断。由于几次学习的性能很大程度上取决于学习特征编码器的质量，因此指导扫描设计的主要原理是每个类的内在子簇表示学习，以便更好地描述特征分布。具体而言，扫描遵循双分支框架，第一个分支是学习范围的特征以区分不同的皮肤疾病，第二个分支是学习可以有效地将每个班级划分为几个组的特征，以保留子 - 每个类中的聚集结构。为了实现第二个分支的目标，我们提出了一个集群损失，可以通过无监督的聚类学习图像相似性。为了确保每个子集群中的样品来自同一类，我们进一步设计了纯度损失，以完善无监督的聚类结果。我们在两个公共数据集上评估了拟议方法，以进行几次皮肤疾病分类。实验结果验证了我们的框架在SD-198和DERM7PT数据集​​上优于其他最先进方法约为2％至4％。

从组织学图像中分割的核分割是数字病理分析中的基本任务。但是，基于深度学习的核分割方法通常会受到有限的注释。本文提出了一种现实的数据扩增方法，用于核分割，名为Insmix，该方法遵循复制 - 平滑原理，并执行形态约束的生成实例增强。具体而言，我们提出了形态约束，使增强图像能够在保持其形态特征（例如几何和位置）的同时获取有关核的大量信息。为了充分利用背景的像素冗余并改善模型的鲁棒性，我们进一步提出了一种背景扰动方法，该方法随机地随机地洗牌，而不会使原始核分布失调。为了实现原始和模板实例之间的上下文一致性，平滑gan的设计具有前景相似性编码器（FSE）和三胞胎损失。我们在两个数据集（即Kumar和CPS数据集）上验证了所提出的方法。实验结果证明了每个组件的有效性以及我们方法与最新方法相比的卓越性能。

视觉变压器最近由于其在各种计算机视觉任务上的出色表现而引发了医学图像分析领域的新浪潮。但是，最近的基于混合/变压器的方法主要集中于变形金刚在捕获长期依赖性方面的好处，同时忽略了其艰巨的计算复杂性，高培训成本和冗余依赖性的问题。在本文中，我们建议对变形金刚进行自适应修剪进行医学图像分割，并提出轻巧有效的混合网络表达式。据我们所知，这是针对医学图像分析任务修剪变压器修剪的第一项工作。 Apformer的关键特征主要是自我监督的自我注意力（SSA），以改善依赖性建立的收敛性，高斯 - 优先相对位置嵌入（GRPE），以促进学习位置信息的学习，并自适应修剪以消除冗余计算和感知信息。具体而言，SSA和GRPE分别考虑了良好的依赖分布和高斯热图分布，作为自我注意事项和嵌入位置的先验知识，以减轻变压器的训练并为以下修剪操作奠定坚实的基础。然后，通过调整栅极控制参数以降低复杂性和性能改进来执行自适应变压器修剪，无论是查询和依赖性方面的修剪，都可以执行。在两个广泛使用的数据集上进行了广泛的实验，证明了Apformer对具有更少参数和较低GFLOPS的最新方法的显着分割性能。更重要的是，通过消融研究，我们证明了自适应修剪可以作为插头-N-play模块，以改善其他基于混合的混合/变压器方法。代码可从https://github.com/xianlin7/apformer获得。

卷积神经网络（CNN），是基于深度学习的医学图像分析的最普遍的体系结构，在功能上仍受其固有的电感偏见和不充分的接收场的限制。旨在解决这个问题的变压器由于其出色的捕获长期依赖的能力而引起了自然语言处理和计算机视觉的爆炸性关注。但是，最新的基于变压器的医学图像分割方法直接将香草变压器作为基于CNN的方法中的辅助模块应用于辅助模块，从而导致由于变压器中刚性贴片分配方案而导致严重的细节损失。为了解决这个问题，我们提出了C2FTRANS，这是一种新型的多尺度架构，将医学图像分割作为粗到精细的过程。 C2FTRAN主要由跨尺度的全局变压器（CGT）组成，该变压器（CGT）解决了CNN中的局部上下文相似性和边界感知的局部变压器（BLT），该局部变压器（BLT）克服了通过变压器中的刚性贴片分配带来的边界不确定性。具体而言，CGT在三个不同的小规模特征图上建立全球依赖性，以获得具有可接受的计算成本的丰富全球语义特征，而BLT通过在熵的指导下适应围绕边界的窗口来捕获中端依赖性，以降低计算复杂性并最小化最小基于大规模特征地图的详细损失。三个公共数据集的广泛实验结果证明了C2FTRAN的卓越性能与基于CNN的最新基于CNN和基于变压器的方法具有更少的参数和较低的拖失术。我们认为，C2Ftrans的设计将进一步激发未来在开发高效和轻量级变压器以进行医学图像细分方面的工作。本文的源代码可在https://github.com/xianlin7/c2ftrans上公开获得。

联合学习（FL），使不同的医疗机构或客户能够在没有数据隐私泄漏的情况下进行协作培训模型，最近在医学成像社区中引起了极大的关注。尽管已经对客户间数据异质性进行了彻底的研究，但由于存在罕见疾病，阶级失衡问题仍然不足。在本文中，我们提出了一个新型的FL框架，用于医学图像分类，尤其是在处理罕见疾病的数据异质性方面。在Fedrare中，每个客户在本地训练一个模型，以通过客户内部监督对比度学习提取高度分离的潜在特征，以进行分类。考虑到有限的稀有疾病数据，我们建立了积极的样本队列以进行增强（即数据重采样）。 Fedrare中的服务器将从客户端收集潜在功能，并自动选择最可靠的潜在功能作为发送给客户的指南。然后，每个客户都会通过局部间的对比损失共同训练，以使其潜在特征与完整课程的联合潜在特征保持一致。通过这种方式，跨客户的参数/特征差异有效地最小化，从而可以更好地收敛和性能改进。关于皮肤病变诊断的公共可用数据集的实验结果表明，Fedrare的表现出色。在四个客户没有罕见病样本的10客户联合环境下，Fedrare的平均水平准确度平均增长了9.60％和5.90％，与FedAvg和FedAvg的基线框架和FedArt方法分别相比。考虑到在临床情况下存在罕见疾病的董事会，我们认为Fedrare将使未来的FL框架设计受益于医学图像分类。本文的源代码可在https://github.com/wnn2000/fedrare上公开获得。

为了以计算有效的方式部署深层模型，经常使用模型量化方法。此外，由于新的硬件支持混合的位算术操作，最近对混合精度量化（MPQ）的研究开始通过搜索网络中不同层和模块的优化位低宽，从而完全利用表示的能力。但是，先前的研究主要是在使用强化学习，神经体系结构搜索等的昂贵方案中搜索MPQ策略，或者简单地利用部分先验知识来进行位于刻度分配，这可能是有偏见和优势的。在这项工作中，我们提出了一种新颖的随机量化量化（SDQ）方法，该方法可以在更灵活，更全球优化的空间中自动学习MPQ策略，并具有更平滑的梯度近似。特别是，可区分的位宽参数（DBP）被用作相邻位意选择之间随机量化的概率因素。在获取最佳MPQ策略之后，我们将进一步训练网络使用熵感知的bin正则化和知识蒸馏。我们广泛评估了不同硬件（GPU和FPGA）和数据集的多个网络的方法。 SDQ的表现优于所有最先进的混合或单个精度量化，甚至比较低的位置量化，甚至比各种重新网络和Mobilenet家族的全精度对应物更好，这表明了我们方法的有效性和优势。

胸部X射线（CXR）是诊断各种疾病的最典型放射学检查。由于昂贵且耗时的注释，以无监督的方式检测CXRS的异常是非常有希望的。但是，几乎所有现有的方法都将异常检测视为单级分类（OCC）问题。它们在训练过程中仅模拟仅已知正常图像的分布，并确定在测试阶段不符合正常剖面的样品。因此，在训练阶段忽略了大量包含异常的未标记图像，尽管它们在临床实践中很容易获得。在本文中，我们提出了一种新型策略，即使用已知的正常图像和未标记的图像，用于异常检测（DDAD）的双分布差异（DDAD）。所提出的方法由两个模块组成，称为A和B。在训练期间，模块A以某种方式以某种方式捕获来自未标记的图像的已知正常图像和未标记的图像，而模块B仅模拟已知正常图像的分布。随后，模块A和B之间的分配间隔和模块内部验证内验证术语的设计被设计为指示异常的异常得分。在三个CXR数据集上进行的实验表明，所提出的DDAD达到一致，显着的增长和优于最先进的方法。代码可在https://github.com/caiyu6666/ddad上找到。